# -*- coding: utf-8 -*-

# 1．抓取网站http://www.y2002.com/（8分）
# 2．打开pycharm建立py文件（8分）
# 3．引入所用的包（8分）
# 4．抓取首页所用歌曲名称（8分）
# 5．获取网页源码（5分）
# 6．获取歌曲分类（7分）
# 7．抓取中文舞曲分类中的歌曲（8分）
# 8．根据歌曲建文件夹（8分）
# 9．将歌曲下载到文件夹下（8分）
# 10．下载该网站10页以上的歌曲（8分）
# 11．下载本地音乐文件名为原网站中的名称（8分）
# 12．将抓取的相关信息存入数据库，设计表结构（8分）
# 13．写出代码思路（8分）

import scrapy


class GequSpider(scrapy.Spider):
    name = 'gequ'
    # allowed_domains = ['xxx']
    start_urls = ['http://www.y2002.com/']

    def parse(self, response):
        fenleis = response.xpath("//ul[@class='menulist']/li/a/text()").extract()
        zwwq_href = 'http://www.y2002.com' + response.xpath("//ul[@class='menulist']/li[4]/a/@href")[0].extract()
        yield scrapy.Request(url=zwwq_href, callback=self.parse_wq)

    def parse_wq(self, response):
        all_li = response.xpath("//div[@class='hotlist']/ul/li/span[@class='songtypename autohidden']")[:10]
        for li in all_li:
            name = li.xpath("./a[@class='song']/text()")[0].extract()
            href = 'http://www.y2002.com' + li.xpath("./a[@class='song']/@href")[0].extract()
            print(name, href)
